内容安全管理
敏感词管理
敏感词管理功能允许用户定义、查看和管理敏感词列表。通过此功能,用户可以控制和过滤掉不希望出现的内容,以符合特定的合规要求或社区准则。
敏感词管理页面的主要功能包括:
- 新增敏感词:添加新的敏感词到列 表中,以确保它们在未来的内容中被识别和处理。
- 查看敏感词列表:提供所有已定义敏感词的概览,包括它们的启用状态、描述和创建时间。
- 管理敏感词:允许用户启用或禁用特定的敏感词,以及更新它们的描述信息。
内容审核模型
置信度(Confidence)通常是指一个模型或系统对其预测结果的确信程度。
在内容审核模型的上下文中,置信度阈值设置是一个重要的功能,它允许用户定义模型在标记内容为特定类别(如垃圾邮件、不适当内容等)之前必须达到的最低置信度水平。这样做可以减少误报或漏报的数量,具体取决于阈值的设置。
例如,如果置信度阈值设置为0.8,那么只有当模型对其预测结果的置信度至少为80%时,它才会将内容标记为不适当。这有助于确保只有那些模型非常确信的案例才会被采取行动。